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Abstract of DEI 9728890 

The invention relates to an image improvement system in accordance witli application DE19631414. Said 
system is characterized in that the reflex image In the interior of the eye is scanned on the retina (NH) 
and, after modification, is projected bacl< into the eye by the same path. The invention proposes using an 
elliptical scan. 
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Bei geschlossenen Brillen wird versucht das Bild der 
BlutgefaBe (Augenhintergrand) als Referenz zu verwenden 
Die Erflndung betrffi eine Brille, mit deren Hilfe uber (Retina-Tracking). Das liefert allerdings nur eine ungenii- 
eine Ruckspiegelung an der Linenseite derselben das Netz- gende Auflosung und ist ausschlieBlich fiir naonokulare Be- 
hautreflexbild des Auges bei unterschiedlicher Helligkeit 5 trachtungen geeignet (siehe z. B. E.Peli, "Visual issues in 
der Umgebung elektronisch aufgenonunen, mit einem Com- the use of a head-mounted monocular display", Optical En- 
puter inodifizierl und Uber eine Beleuchtungseinrichtung gineering, vol. 29, No. 8, p. 883 (1990). Eine gleichzeitige 
und eine Ruckreflexion uber die gleiche Brille physiolo- Stabilisierung in beiden Augen von Bildem mit diesen ist 
gisch verzogerungsfrei dem urspriinglichen Bild so iiberla- wegen der unterschiedlichen Ausrichtung der Augen prak- 
gert wird, daB ein verbesserter Seheindruck entsteht. to tisch unmoglich. Neben der Verschlechterung der Bildquali- 

Die Verwendung von optoelektronischen Brillen zur tat, fuhrt der Konflikt zwischen den vestibularen und visuel- 
Spiegelung von computergenerierten Bildem ins Auge mit len Informationen haufig zu Bewegungsstorungen bis bin 
den Namen "cyberspace" oder "virtual reality" nimmt heute zur Seekrankheit. Diese Probleme der bestehenden Tschnik 
rasant zu. Diese Technik ist sowohl fUr die Anwendung in werden z. B, in demtJbersichtsartikel von B, Peli, "Real Vi- 
der Unterhaltungsindustrie als auch in den verschiedenen 15 sion & Virtual Reality" in Optics & Photonics News, July 
Gebieten der Industrie, Verkehr und Medizin von breitem 1995, S. 28-34 besciirieben. 

Nutzen und wird mit der VerfUgbarkeit von immer schnelle- Aufgabe der Erflndung ist es, die Probleme der Bildstabi- 
ren Bildverarbeitungscomputern an Verbreitung und Bedeu- lisierung bei Uberlagerung von Fremdbildem mit dem rea- 
tung standig zunehmen. len Bild zu losen. 

Am weilesten verbreitet ist die Anwendung mit geschlos- 20 Der Erflndung Uegt die altere deutsche Patentanmeldung 
senen, nicht transparenten Brillen, bei der Bilder von minia- 19631414 mit der Bezeichnung; "Vorrichtung zur Auf- 
turisierten Kathodenstrahbrohren oder Fliissigkristall-Matri- nahme des Netzhautreflexes und tJberlagerung von Zusatz- 
zen Uber Spiegel- oder Glasfasersysteme dem Auge darge- bildem im Auge" zugrunde, In dieser wird eine Vorrichtung 
boten werden. Die besondere Attraktivitat dieser Technik ist beschrieben, mit der das Netzhautreflexbild mit Hilfe eines 
es, mit bewegter dreidimensionaler Bilddarstellung, den 25 konfokal abbildenden, zweiachsigen Scansystems uber die 
Bildablauf oder die Handlung mit verschiedenen Bewegun- Reflexion der Innenseite einer teiltransparenten und entspre- 
gen des Brillentragers zu koppeln, So wird eine Anderung chend gewolbten Brille, serieU mit einem hoohempfindli- 
der Blickrichtung durch Kopfbewegung oder Anderung der chen Photodetektor aufgenonamen wird. 
Perspektive bei fortsclireitender Bewegung nachgebildet. Es Darin wird vorgeschlagen, mit Hilfe von Lasern und eines 
konnen die Bewegungen der Arme und Finger dos Brillen- 30 Strahlenteilers iiber denselben Liohtweg in umgekehrter 
trSgers mit Hilfe von Sensoren in das Bild eingebracht wer- Richtung wie das aufgenommene Bild das verbesserte Bild 
den, um ihm die MOglichkeit des direkten Eingreifen in die auf die Netzhaut seriell abzubikJen. 
Handlung zu ermoglichen. Dariiber hinaus wird auch die MBglichkeit erOffnet, an- 

In neueren Systemen mit dem Namen "augmented rea- dere Bilder zusatzlich auf die Netzhaut zu Uberlagem. 
lity" kann der Brillentriiger mit Hilfe teiltransparenter Bril- 35 Mit dieser Technik sind die vorgenannten Probleme 
len sowohl die Umgebung als auch ein iiber die Brille einge- grundsatzlich gelost, jedoch wurden konkrete ReaUsierun- 
spiegeltes Bild von Kameras von der gleiche Szene oder von gen und Anwendungen nicht angegeben. Der Grundgedanke 
anderen Bildinhalten liber einen miniaturisierten Monitor der neuen IMndung dieses Verfahren zur Verbesserung des 
am Helm betrachten. Eine wohlbekannte Variante dieses Wahmehmungsvermogens des Auges einzusetzen, Die phy- 
Verfahrens ist bei der FUhrung von Kampfflugzeugen mit 40 sikalisohteohnischen Probleme, die dazu gelost werden 
dem Namen Helmet-mounted-display (HMD) bereits einge- mUssen, ergeben sich aus den physiologischen Eigenschaf- 
fuhrt. ten des Auges und den standig variierenden Beleuohtungs- 

Bei dieser Technikcn sind jodoch mchrcre Probleme be- verhaltnissen in der Umgebung, Das Auge ist wegen der va- 
kannt, dieauf dieWirkungsweisedes Gesichtsinneszurlick- riablen Lichtverhaltnisse und der unterschiedlichen opti- 
zufUhren sind und auf verbesserte technischeLOsungen war- 45 schen Aufgaben in seinen Grundfunktionen ein sehr dyna- 
ten. Bei einer geschlossenen Brille und einem starr gekop- misches Sinnesorgan. Es adaptiert sich an die Variation der 
pelten Monitor und Monitorbild bewegt sich bei einer Kopf- Intensitat der Hintergrandbeleuchtung Uber 12 Dekaden, Es 
bewegung des Brillentragers die Szene in gleicher Richtung sohaltet vom Farbsehen beim Tageslioht auf reines schwarz/ 
mit, was seinen Sehgewohnheiten in unnatiirlicher Weise weiB Sehenin derNachtum. Lichtindem WeUenlangenbe- 
widerspricht. Er ist durch die Abbildung des Auges ge- 50 reich 400-1500 nm wird von dem Auge transmittiert und 
wohnt, daB die Szene gerade in entgegengesetzter Richtung auf die Netzhaut abgebildet. Dabei wird nur Licht im Be- 
verlauft, Dieses Problem konnte durch die umstandliche reich von 400 nm bis 750 nm wahrgenommen, d, h. das in- 
Messung der Kopfbewegung und des Augapfels mit exter- frarote Licht im Bereich von 750-1500 nm, das sowohl bei 
nen Drehwinkelsensoren, einer entsprechenden Bildverar- AuBen- als auch Innenbeleuchtung sehr hell ist, bleibt fur 
beitung und Nachfuhrung des generierten Bildes bis jetzt 55 die visueUe Wahrnehmung ungenutzt, 
nur unvoUkommen gelSst werden. Das Auge erfaBt horizontal und vertikal einen Winkelbe- 

Duroh Anpassungsbewegungen des Augenapfels, die von reich von etwa 100°. Die BildauflOsung nimmt jedoch mit 
sogenannten vestibularen okularen Reflexen (VCR) des Oh- dem Winkelabstand von der Sehachse sehr schnell ab . Das 
ren-Bogengang-Systems ausgehen und dem Festhalten des aufmerksame momentane Sehen ist auf einen zentralen 
Fixationspunktes bei Kopfbewegungen dient, ist das Auge 60 Wmkelbereich von nur +■/- 5° begrenzt und das "scharfe" 
selbst in der Lage, das Netzhautbild grob zu stabiUsieren, Sehen, z. B. beim Lesen oder Autofahren, ist auf den sehr 
Die FeineinsteUung geschieht mit dem Bild als Referenz, geringen zentralen Winkelbereich von +/- 0,5° begrenzt. 
Dieses Bild-Tracking wird zusStzlich vom Auge verwendet, Hinzu kommen stSndig verschiedenartige Bewegungen der 
um die VORs einer dynamischen Augenausrichtung zu ad- Augen. Dies fiihrt zu folgenden Konsequenzen, die unter 
aptieren, 65 bestimmten Umstanden das Wahmehmungsvermogen des 

Dies bedeutet, daB eine Uberlagerung von Fremdbildem Auges beeintrachtigen und die im Rahmen der neuen Erfin- 
erst bei ihrer Ankopplung an das reale Netzhautbild einen dung verbessert werden sollen: 
wirklichkeitsgetreuen Bildeindruck geben kann. 
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- Adaption 

- Akkommodation 

- Scharfeleistung 

- Sehfehler = (B T A\ x)(A„R)(S/27i)(Ap/D^)(l/s) 

- Altersbedingte Minderleistung und 5 

- Bewegungsdynamik. wobei 

B = die spektrale Bestrahlungsstarke auf der Netzhaut 

Die Aufgabe der vorliegende Erfindung ist es nun, eine T = die optisciie TVansmission von Netzhaut bis zum Photo- 

Anordnung vorzuschlagen, die ahnlich wie das Auge in ih- detektor 

ren Grundfunkdonen sehr variabel gestaltet und an die Er- 10 t = die Integradonszeit in einem Bildpixel auf der Netzhaut 

fordemisse des Sehvorgangs angepaBt ist, aber gleichzeitig Ao = die Flache des Bildpixels 

die besondere Physiologie und Dynamik des Auges und die R = Reflexionsvermogen des Bildpixels 

variierenden Beleuchtungsverhaitnisse der Umgebung und AA, = Spektrale Breite des Bmpfangssignals 

den unsichtbaien IR-Bereich beriicksichligt und ausnutzt, Ap = Pupillenflache 

Dies Mt sich mit den in der friiheren Erfindungsmeldung 15 D = Abstand der Pupille zur Netzhaut 

angegebenen Abtast- und Scanvarianten (serieller Rasters- SI2% = der Winkelverteilungsfaktor der optischen Riiok- 

can, serieller Spiralscan) niu: unzulSnglich erreichen, Dies streuung der Netzhaut 

betrifft sowohl das Abtastmuster der Bildaufnahme des e = Energieeines Photons bei der Aufnahmewellenlange 

Netzhautreflexes als auch die Riickprojektion des Laserbil- bezeichnen. 

des in das Auge. 20 Wie diese Formcl zcigt, konnen starkere Signale, d, h. 

Ein grundsatzliohes Problem der seriellen gegenuber der 
paraUelen Bildabtastung ist die kurze Verweilzeit des Scan- 
ners in jedem Bildpixel. 

Eine gleichmaBige Abtastung z. B. von 0,5 Mio Bild- - Verlangerung der Verweildauer T des Scans in den 

punkte in einer Abtastzeit von 40 ms bedeutet eine Integra- 25 einzelnen Bildpunkten, 

tionszeit von nur 0,08 ps d. h. 80 ns in jedem BikJpunkt. Im - VergroSerung des Abtastflecks Aq auf der Netzhaut 

Vergleich hierzu betrSgt die parallele Zeitintegration aller - VergrOBerung der spektralen Bandbreite AX. 
Bildpunkte des Auges selbst 10-20 ms. 

Wie aus der Anwendung von Lasern zur Aufnahme der Die Erflndung schlagt das Abtasten der Netzhaut in einer 

Netzhautstrukturdes Auges in den sogenannten Laser Scan- 30 Abfolgs von konzentrisohen Kreisen vor (Kreismittelpunkt 

ning Ophthalmoskopen bekannt ist, ist eine Laserleistung ist gleich Fovea centralis), deren Radius sich sukzessive ver- 

vonetwa40 )jW notwendig, umbeimRasterscan ein Signal- grOBert bzw. verkleinert. Diese Art des Scannens wrird als 

Rausch-Verhaltnis von 17 aus einem Bildpixel zu erzielen Kreisscan bezeichnet. Wegen der Rotationssymmetrie der 

(siehe z. B. A.Plesch, U. Klingbeil, and J, Bille, "Digital la- Augcnlinse und der Pupille um die Sehachse und der rotati- 

ser scanning fundus camera", AppUed Optics, Vol. 26, No 8. 35 onssymmetrischen Verteilung der Photorezeptoren in der 

p, 1480-1486 (1987)). Umgerechnet auf die groBere Flache Netzhaut ist der Kreisscan optimal. 

wUrde dies einer Bestrahlungsstarke in einem Abbild einer Die Erfindung schlagt weiterhin vor, daB ein identischer 

ausgedehnten Quelle auf der Netzhaut von 40 W/cm^ ent- Kreisscan fiir die Aufnahme des Netzhautreflexes von der 

sprechen, was der Bestrahlungsstarke von hellen Schein- Umgebung und die Bildprojoktion mit dem Laser verwendet 

werfern oder Sonne auf der Netzhaut entsprioht, d. h. mit 40 werden. Da beim Kreisscan von auBen bis zum Zentrum, 

dem Rasterscan kOnnen erst relativ helle Quellen mit einem nach dem Erreichen des Zentrums, die Scanachse den glei- 

gutenSignal-Rauschverhaltnis auf der Netzhaut aufgezeich- chen Weg riickwarts verlaufl, kann wahlweise die Auf- 

net werden. Um die Abbildung von schwScheren Quellen nahme beim Scan bis zum Zentrum und Projektion von Zen- 

auf der Netzhaut zu detektieren, muB die Bmpfindlichkeit tram bis auBen, oder die Auftiahme iiber den gesamten Ab- 

wesentlich gesteigert werden. 45 tastvorgang und Projektion erst in einem zweiten verwendet 

Die serielle Bildabtastung hat jedoch fiir die Aufnahme werden. 

des Netzhautreflexes den entscheidenden Vorteil der besse- Bei einer konstanten Auslenkung von Scanspiegeh in 

ren Untcrdriickung von Streulicht, der einfacheren Aufnah- zwei iiichtungen (Lissajou-Figur) erfolgt beim Kreisscan 

meoptik und der Mbghchkeit der exakten Umkehrung des zwangslauflg eine Verlangsamung der Verweildauer in 

Strahlenganges bei der Bildriickprojektion mit einem Laser so Richtung zum Zenttum. Die Erfindung sieht jedoch voi; daB 

und soli aus diesen Griinden auch in dieser Erfindungsmel- fiir das Tagessehen die Scandauer benachbarter Kreise, je 

dung beibehalten werden. Eine Verlangerung der Verweii- nach den Belichtungsverhaltnissen, noch zusatzlich verlang- 

zeit kann aber durch Anderung dos Scanmustors erreicht samt und fiir das Nachtsehen sogar beschleunigt werden 

werden. kann. 

Wegen der ungleichmSBigen Verteilung der Photorezep- .55 Aufgrund der ungleichraSBigen Verteilung der Zapfen 

toren, mit der hdchsten Dichte der Zapfen fiir das scharfe uber die Netzhaut mit einer um mehr als zwei Dekaden hO- 

Sohon im Zentrum der Netzhaut und dem entgegengesetzten heren Dichte im Zentrum kann die Abtastrate (Verweildauer 

Verlauf der Stabchen fUr das unscharfe aber Uchtempfindli- pro Bildpunkt) in diesem Bereich um diesen Faktor, 100 er- 

che Nachtsehen, ist der Rasterscan keineswegs das optimale hOht werden. 

Scanmuster. Ein an den Sehvorgang angepaBtes Scanmuster 60 FUr das Nachtsehen mit der hoheren Verteilung der Stab- 

soUte fiir das Tagessehen in Richtung zum Zentrum zuneh- chen mit zunehmenden Radius ist es sinnvoll, dal3 die \fer- 

mend langsamcr und dichter werden, fiir die Anpassung an weildauer entgegengesetzt nach auBen in ahnUchem MaBe 

das Nachtsehen gerade umgekehrt. abnimmt. 

AuBer der Verweilzeit kann das aufgenommene Signal Wie dem Fachmann bekannt, laBt sich ein Kreisscan in 

durch Anderung der FleckgroBe der Abtastung und damit 65 analoger Ansteuerung mit periodisch schwingenden ortho- 

auch der Bildauflosung beeinfluBt werden. gonalen Scanspiegehi, oder in digitaler Ansteuerung durch 

Die Anzahl der Signalphotonen Ng die von einem abta- Naherung an die Kreisspur mit einer hohen Anzahl von ge- 

stendenAufiiahmegerat von derNetzhautpro Bildpixel auf- raden Strecken. Als dritte Alternative bietet sich die Ver- 



DE 197 28 890 A 1 



wendung von program 
steuersignale, i 



o Algoiithmen analoger An- 



;ei ufen wcrden konnen und 
besten fiir diesc variablcn Vcrhaltnisse am geeignet sind. 

Damit das Empfangssignal auch durch VeigroBerung des 
abgetasteten Bildflecks, proportional zu seiner Flache, zu- 
satzlicli erhoht werden kann, sieht die ErSndung femer vor, 
daB die momentane Bildpixelgr6l3e auf der Netzhaut zusatz- 
lioli zur Scangeschwindigkeit variabel eingestellt werden 

Mit der Anderung der BfldfleckgroBe wird auch die Bild- 
auflcisung enlsprechend der Situation angepaBt. AuBer der 
Veranderung der Abtastflache kann die Auflijsung durch va- 
riablen Radiensprung der Scanradien eingestellt werden, 

Mit einer VergroBerung des abtastenden Bildpixels von 
z, B, 10 |jm auf 100 wird z. B, die Bildauflosung von 
etwa 2 bis 20 Bogenminuten (Auflosungsbereich des Lesens 
und Betrachtens) um einen Faktor 10 reduziert, gleichzeitig 
wird das empfangcnc Signal um einen Faktor 100 erh6ht, 

Wie dem Fachmann bekannt, ist bei der konfokalen Abta- 
sten die Bildauflosung durch den Blendendurchmesser im 
Zwischenfokus vor dem Photodetektor bestimmt und kann 
durch seine Veranderung eingestellt werden. Die Erflndung 
sieht vor, daS hicrfur Fliissigkristallblenden oder elektro-op- 
tische Blenden verwendet werden, damit diese Einstellung 
moglichst schnell, d, h. innerhalb eines Abtastzyklus, durch- 
gefUhrt werden kann, 

Da der zeitliche Ablauf des Scannens und die GroBe des 
Bildpixels bei Auftiahme und Projektion maglichst iden- 
tisch sein soUten, schlSgt die Erflndung vor, daB die die An- 
derung des Scanverlaufs und Blendenregelung im Projekti- 
onskanal die gleiche ist wie im Aufnahmekanal. Die Varia- 
tion der optischen Integrationszeit und BildpixelflSche kann 
dann im Projektionskanal durch entsprechende Variation der 
Sendeleistung des Lasers kompensiert werden. 

Die Hehe des Empfangssignals ist weiterhin von der 
spektralen Bandbreile des Empfangers abhangig und kann 
durch ihre Verbreiterung erhoht werden. Die Erflndung sieht 
vor, daB im Bereich des hellen Tagessehen (photopisches 
Sehen) eine der AugenfarbempfindlichUeit entsprechende 
Aufspaltung des Strahlenganges in die Farbkanale Rot- 
Griln-Blau mit je einer spektralen Breite von etwa 100 nm 
vorgenommen werden kann. Dies ermoglicht eine farbechte 
Bildaufnahme und mit entsprechenden dreifarbigen Lasem 
eine farbliohe Zurtlokprojektion ins Auge, 

Bei einer schwacher Umgebungsbeleuchtung, bei der 
Farben nicht mehr vom Auge wahrgenommen werden (sco- 
tnpisches Sehen) sieht die Erflndung die Zusammenlegung 
aEer Kanale zu einem einzigen (schwarz/weiB) Empfangs- 
kanal ohne Farbauflosung vor, Weiterhin sieht die Erflndung 
vor, dais dieser Bmpfangskanal nicht nur den sichtbaren Be- 
reich von 400-700 nm, sondern zusatzlich den nahen infra- 
roten Bereich von 700-1000 umfaBt, 

Dies bringt zur Erhohung des Empfangssignals bei 
schwacher Hintergrundbeleuchtung die folgenden Vorteile: 

- das Auge hat zwischen 400-1000 nm voUe TVanspa- 
renz und bildet ein vergleichbares Bild zwischen 
700-1000 nm wie zwischen 400-700 nm ab. 

- der Reflexionsgrad der Netzhaut zwischen 
700-1000 nm betragt R = 10-20% gegenUber R = 
3-5% zwischen 400-700 nm 

- es sind Photoempfanger mit hohem Quantenwir- 
kungsgrad wie Photomultiplier und Silizium-Avalan- 
ohedioden Uber den gesamten Spektralbereioh von 
400-1000 nmverfiigbar. 

- Gliihlampen, die zur Innenbeleuchtung von Gebau- 
den, bzw. im Freien zur StraBenbeleuchtung und bei 
Fahrzeugen verwendet werden, strahlen zwischen 



700-1000 nm 10 mal mehr Licht ab als zwischen 

400-700 nm. 

- das Reflexionsvermogen der Vegetation der Natur ist 
um einen Faktor 5-10 zwischen 700-1000 nm hoher 
5 als zwischen 400-700 nm, 

Wie diese Beispiele zeigen, ist bei schwacher Beleuch- 
tung OS^achtsehen) eine nochmalige Erhohung des Emp- 
fangssignals um einen Faktor 100 durch Erweiterung des 
10 Spektralbereiches mBglich. 

Die Erweiterung des spektralen Bereiches kann entweder 
in jedem GerSt fest installiert sein oder durch Wechseln von 
spektralen Filtern variabel gestaltet werden, Wu:d eine Farb- 
darstellung nicht gefordert, ist es sinnvoU, grunes Laserlicht 
15 fUr die RUckprojektion ins Auge, wegen der hflchsten Emp- 
flndlichkeit und Kontrastwahrnehmung des Auges bei dieser 
Farbe, zu verwenden. 

Zusatzliche Methoden zur Signalverbesserung, die hier 
eingesetzt werden kOnnen, sind die Integration mehrerer 
20 aufeinanderfolgender Bilder und die Bildkorrelation, z. B. 
Bilder der beiden Augen. 

Insgesamt kann durch die Variation der zwei Parameter, 
der Verweilzeit des Scans in den Bildpixels und der GroBe 
des Bildflecks, mit Hinzunahme des infraroten Bereiches 
25 und der Verwendung von BUdkcrrelation, eine gesamte Dy- 
namik der Empfangssignale iiber siehen Dekaden erfaBt 
werden. 

Bei einer gesamten optischen Transmission des Emp- 
fangskanals von T = 0,2 (siehe Formel oben) umfaBt der 

30 Empfangbereich dieses dynamischen Aufnahmesystems 
Bestrahlungsstarken auf der Netzhaut zwischen 10"^ W/cm^ 
und 100 W/cm^, was dem Bereich der typischen Innen- und 
AuBenhelUgkcit umfaBt, 
Wegen der langsamen und schnellen Augenbewegungen 

35 ist es notwendig, das Scansystem so zu gestalten, daB es der 
Anderung der Sehachse durch die Brille standig folgt, d. h. 
daB die Symmetrieachse der Bildabtastung, sowohl bei der 
Aufnahme, als auch bei der Projektion, mit dor Sehachse 
identisch ist, 

40 Die Erflndung sieht zur Losung dieser Aufgabe vor, daB 
vor und nach der Abtastung des Netzhautreflexes bzw. der 
Bildprojektion ins Auge, eine Zentrierung des Kreisscans 
auf der Augenpupille durchgefUhrt wird, Dabei wird dor 
grOBte Abtastwinkel des Kreisscans so gewahlt, daB bei ei- 

45 ner Ablage der Scansymmetrieachse von der Sehachse die 
AuBenflSche des Augapfels, Sclera mit Regenbogenhaut 
und Pupillenoffhung von dem Kreisscan erfaBt wird. Da 
diese Telle des Auges, die vom AuBcnlicht gut ausgclcuch- 
tet sind, nicht scharf, sondern diffus in der Bildzwischen- 

50 ebene des Photodetektors abgebildet werden, flefert das 
Empfangssignal hier keine Bildinformation, sondern eine 
integrale Anzeige ilber das optische Ruckstreuvermogen der 
Vorlage, 

Wenn die Empfangssignale iiber zeitUch gleich lange Ab- 
55 schnitte, z. B. Quadranten, aus jedem Kreis miteinander ver- 
gUchen werden, sind sie nur dann von gleicher HOhe, wenn 
die Achse des Kreisscans identisch ist mit der Augenach.se 
(Sehachse), Signalunterschiede, wegen der unterschiedli- 
chen Riickstreuung aus Sklera, Regenbogenhaut und Pupil- 
60 lenOffiiung, sind dann ein MaB Uber die Achsenablage und 
ihre Richtung, Nach einer Normierung mit dem gesamten 
Empfangssignal ilber jeden Kreis konnen diese Ablagesi- 
gnale zur Einstellung der NuUstellung eines nachsten Kreis- 
scans (Bias) verwendet werden. Somit kann eine ursprungU- 
65 che Ablage der Achsen mit jedem Kreisscan vermindert 
werden bis sie beim Eintauchen des Kreisscans durch die 
Pupillenoffnung verschwindend gering wird (PupiUentrak- 
king). Fig. 1 zeigt schematisch den kozentrischen Scanvor- 
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gang bei justierten System, Fig. 2 stellt den Suchmode der 
Zenf rierang des Scans durch die Augenpupille dar. 

Die Erflndung sieht altcrnativ zur Venvendung des Um- 
gebungslichtes vor, dal3 auch mit der aktiven Beleuchtung 
der Laserprojektion ins Auge ein Pupillentracking im Au- 5 
Benbezirken des Kreisscans, nut gleichzeitiger Signalaus- 
wertung im Auiinahmekanal wie oben besclirieben, durclige- 
fiihrt wird. 

Die Erfindung sieht auBerdem vor, daB auch wahrend der 
Laserbildprojektion das sowohl von der Umgebung als auch lo 
vom Laser zurilckgestieute Licht aufgenommen und ausge- 
wertet wird. Diese gleichzeitige Aufnahme des Netzhautre- 
flexes von der Umgebung und dor nachbearbeitenden Laser- 
bildprojektion eroffnet die MogLichkeit, den Grad der tlber- 
lappung und die zeidiohe Synchronisation beider Bilder 15 
stSndig zu tberprUfen, eventueUe Unterschiede als Bildin- 
lerferenzen (Moire-Muster) zu erkennen, um diese dann 
durch Korrektursignale nachtraglich zu kompensieren, 

Die Aufnahme und Projektionstechnik im Sinne der Er- 
tindung kann entweder an einem Auge eines Betrachters 20 
Oder an seinen beiden Augen gleichzeitig, unabhSngig von- 
einander durchgefuhrt werden. Wegen des steroskopisdien 
Sehens beider Augen wird in dem letzteren Fall eine dreidi- 
mensionale Bildaufnahme und Bildwiedergabe realisiert. 

Es ist nicht ohne weiteres verstandlich, daB die AuJhahme 25 
eines fehler- und verzeichungsfreien Reflexbildes der Um- 
gebung von der Netzhaut fiber eine BriUe, die weder in ihren 
optischen Eigenschaften individuell an jedcn Botrachter an- 
gepaBt, noch vollstandig stabil sitzend auf dem Kopf des 
Betrachters sein kann, Die Losung hierzu im Sinne der Er- 30 
findung besteht erstens in der reladv geringen optischen An- 
forderungen an den seriellen konfokalen Punktscan gegen- 
fiber z, B. einer flachenhaften Abbildung aus dem Auge, 
zweitens in der voUstandigen dynamischen Anpassung des 
optischen Strahlenganges des Scanners uber die Brille in das 35 
Auge, die jedesmal die Eigenbewegungen des Auges und 
der Brille selbst beriicksichtigt, drittens in der exakten 
Ruckkehrung des Strahlenganges zwischen Aufiiahme und 
Projektion und der kurzen Zeitdauer zwischen diesen Vor- 
gangen. Zur Einstellung des Scan durch das Auge, auch bei 40 
den verschiedenen Augenbewegungen dienen zwei scan- 
nende Elemente und ein Korrekturspiegel der auch justier- 
bar sein kann. Die Fig. 3 zeigt schematisch in t)bersicht das 
ganze System. Die Netzhaut des Auges NH vfird mit dem 
fokussierten Strahl abgetastet. Hier stellt AA den Augapfel 45 
und AP die Augenpupille dar. Die teildurchlassige BiiUe ist 
hier mit BG bezeichnet. 

Die von der Umgebung durchgehenden Strahlen werden 
auf der Netzhaut fokussiert, gleichzeitig wird die Netzhaut 
punktuell abgetastet, wobei der Abtaststrahl in TVansmission so 
durch die Brille immer gegen eine Strahlungssenke schaut. 
Mit den zweiachsigen Abtastelementen HSS und VSS wird 
der Kreisscan durchgefUhrt. Mit dem Ililfsspiegel IIS, der 
aktiv einstellbar sein kann, wird die Einfallsriohtung und 
Position des Strahles auf der Innenflache der Brille BG ein- 55 
gestellt. Mit dem Strahlumschalter SUS kann entweder mit 
einer zentralen Bohrung der beleuchtende Laserstrahl 
durchgelassen werden und der Empfangsslrahl, der meist 
wesentUch groBeren Durchmcsscr hat in die Kmpfangsein- 
heit refiektiert werden in getrennte Richtungen geleitet wer- 60 
den, Oder es kann ein aktiv umschaltendes Spiegelelement 
verwendet werden das zwischen Empfang und Senden um- 
schaltet. 

Die Empfangseinheit kann z, B. aus drei getrennten Bmp- 
fangskanalen fur die Grundfarben Rot, Griin und Blau oder 65 
andere Wellenlangenbereiche z. B. im nahen Infrarotbereich 
bestehen. Der Strahlengang aUer Spektralkanale wird mit 
Hilfe dichroitischer Spiegel DS auf eine Achse gebracht. 
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Zur Einstellung der FleckgroBe des Abtaststrahles auf der 
Netzhaut und zur eventuellen Feinkoreektur der optischen 
Achse dient eine aktiv justierbare Gesichtsfeldblende GEE, 
Die Sendeeinheit kann z, B. aus drei Lasem mit den 
Grundfarben Rot LR, Griin LG und Blau LB geschafifen 
sein. Vor der Strahlvereinigung auf einer Achse mit dichroi- 
tischen Spiegeln DS werden die Einzelnen Strahlen entwe- 
der extern mitBildmodulatorenMR, MG undMB moduliert 
Oder einfaoher direkt Uber den Anregungsstrom der Laser- 
emission. Die Gr6Be und Lage des Laserabtastflecks auf der 
Netzhaut wird mit einer aktiv steuerbaren Blende LAA die 
im Zwischenfokus zwoior Linsen im Strahlengang einge- 
stellt wird. Als Bmpfanger fiir die Abtastung der Netzhau- 
treflexbildes sind z. B. Photomultiplier geeignet, die wech- 
selweise bei sehr schwachen optischen Signalen in einen 
Photon-counting Bettieb und bei starken Signalen in einen 
StrommeBbetrieb automatisch Umschalten. Auch ist die 
Venvendung von Avalanche Photodioden als Empfanger 
moglich. 

Als Lichtquellen zur RUckprojektion der Bilder ins Auge 
sind Halbleiterlaser bzw. miniaturisierte Festkorperlaser 
vorgesehen mit einer niedriger Dauerstrichleistung (< 
300 |aW), die kcinc Gefahrdung des Auges verursachen kon- 
nen. Mit der Verwendung von Halbleiterlasem konnte die 
Bildmodulation direkt Uber ihre Stromversorgung durchge- 
fuhrt werden, Damit alter Farben erzeugt werden empfielilt 
sich die Verwendung von drei Lasern mit den Grundfarben 
rot, grUn und blau, Wie das bekannte Farbdreieck des 
menschliehen Gesichtsinnes zeigt konnen alle anderen Far- 
ben sowie die Unfarben grau und weiB durch Farbsumma- 
tion von monochromatischen Laserlinien dieser Farben ge- 
bildet werden. Die Erfindung beinhaltet auch die MSglich- 
keit der Verwendung yon einzehen Farben als monochro- 
matische Losung vor. 

Die Erfindung sieht wie in Hg, 4 dargesteUt einen Signal- 
Prozessor SP vor, der das direkte Bild von der Netzhaut 
elektronisch bearbeitet und alle Funktionen der Vorrichtung 
sowie die von Scannem VSS/HSS, des Hilfsspiegels HS und 
Laserfleckeinsteilung LAA und GroBe der Gesichtsfeld- 
blende GFB synchron koordiniert, Der Bildverarbeitung- 
scomputer BVC Ubemimmt dann die vom Auge wahige- 
nommenen Bild oder Bilder anderer technischer Sensoren, 
de uber einen externen AnschluB EA dem Computer zuge- 
fUhrt werden und bearbeitet sie nach einer voigegebenen 
Software SW, bevor sie mit Hilfe des Signalprozessors auf 
die Laserstrahlen als Bildsignal aufraoduliert werden, In 
Fig. 4 sind der FluB der optischen und elekliischen sowie 
der Softwaresignale getrennt dargesteUt. Die komplette La- 
scrcinhcit wird mit DE bezeichnet, ME als Modulationsein- 
heit und PME die komplette Empfangseinheit und SUS als 
der Strahlumschalter zwischen der Sende- und Empfangs- 
einheit. 

Die Laser-Projektion ermoglicht aufier der Verarbeitung 
des aktueUen vom Computer verarbeitetes Bild in das Auge 
zu projizieren und mit dem Originalbild zu verschmelzen, 
auch Fremdbilder, die dem Computer von extern zugeleitet 
werden, dem AuBenbild im Auge synchron zu uberiagern. 
Wenn die Zeitspanne zwischen Bildaufnahme- und Projek- 
tion im Vergleich zu den schneUen Augebewegungen ent- 
sprechend kurz ist, wird das Auge, wie bei der Betraohtung 
eines Femsehschumes, keine Bildunterbrechung mehr 
wahrnehmen. 

Die getrennte aber gleichzeitige Bildabtastung an beiden 
Augen erfaBt auch dieperspektivischen Unterschiede beider 
Bilder. Da diese bei der Laserzuruckprojektion in beiden 
Augen erhalten bleiben, ist eine WiederhersteUung des 
raumlichen Sehens gewiihrleistet. 

Die in der Erfindung verwendeten Bauelemente sind 
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heute weitgehend miniaturisiert und kostengUnstig erhalt- 
lich. Zum Scannen dcr Kreisfiguren konnen miniaturisierte 
Kippspiegel verwendet werden. Als zweite Moglichkeit zur 
HerstelLung der Kreisfiguren bietet sich an die Verwendung 
von KeilplaUen-Scannem, die ffir einen Strahlengang in 5 
Transmission ausgelegt sind. Der durcligehende Strahl wird 
durcli jede der Flatten um einen festen Winkel gebrochen, 
der gesamte Ablenkwinkel kann dann durch eine feste Dre- 
hung der Keilplatten gegeneinander kontinuierlich bis NuE 
eingestellt werden. Bei einer gemeinsamen Drehung der 10 
Keilplatten mit einer festen Diehfrequenz beschreibt der ab- 
gelenkte Strahl dann eine Kreisspur. Als dritte Meglichkeit 
bietet sioh die Verwendung von akusto-optischen Ablenk- 
einheit, die den Vorteil der geringen Mgheit und der 
sohnellen Ablenkung bieten. Der variabel einstellbare Hilfs- 15 
Spiegel HS wird vorzugsweise als einer mit Mikroaktorik in 
zwei Achsen einstellbarcr Spiegel sein, 

Filr die Einstellung des LaserfleckgroBe und des Emp- 
fangsgesiohtsfeldes bieten sich vorzugsweise mikromecha- 
nische Aktoren wie z. B. in den weitverbreiteten Laser-Prin- 20 
ter und CD-Plattenspielem auch verwendet werden. 

Die Strahlumlenkeinheit und Scanner kiinncn ein einem 
einfachen Brillengestell untergebracht werden. Mit Hilfe 
von Glasfaserleitung kOnnen Laserprojektionseinheit in ei- 
nem kleinen Gehause z. B. in der GrOBe eines "ftschenbu- 25 
ches mit Betterieversorgung untergebracht werden. Der Da- 
tenaustausch mit einem extemen fest installiertenBildverar- 
beitungsreohner kann entweder Uber Radiowellen oder In- 
frarotstrahle erfolgen. Alle Elemente der Voirichtung der 
Erflndung kOnnten nach dem heutigen S tand der Ttchnik so- 30 
mit von einem Menschen muhelos getragen werden und der 
drahtlose Bilddatenaustausch mit dem extemen Reohner 
wiirde seine unbeschrankte Bewegungsfreiheit ermogli- 

Wie in der frilheren Anmeldung der Erfmderin Nr. 35 
19631414.3 kann dieser Art einer opto-elektronischen Brille 
in den verschiedensten Anwendung eine Verwendung fin- 

Auftiahme von Bildem der AuCenwelt, ihre Verarbeitung, 
Zurilckprqjektion und Verschmelzung mit dem Originalbild 40 
im Auge wie z. B. zur Sichtverbesserung beim Fahren eines 
Fahrzeug oder als Sehhilfe von Sehbehinderte. 

tJberlagerung von Bildem anderer Aufhahmesysteme, 
z. B. in von der gleichen Szene in anderen Spektralberei- 
chen auf das direkte Bild in gleichen Anwendungen wie 45 
heute oder zukunftig das Helmet-mounted-display verwen- 
det wird. 

Uberiagerung von virtuellen Bildem, die alleine vom 
Computer hergestellt werden, in gleichen oder zukunftigen 
Anwendungen der "virtual-reality" oder "cyberspace" Bild- so 

Patentanspriiche 

1 . Bildverbesserungssystem, bei dem das Reflexbild in 55 
Inneren des Auges abgetastet wird und nach Modiflka- 
tion auf dem gleichen Weg in das Auge zuruckproji- 
ziert wird nach Anmeldung Nr. 19631414,3, gckenn- 
zeichnet durch Verwendung eines EUipsenscans. 

2. Bildverbesserungssystem nach Anspruch 1, da- 60 
durch gekennzeichnet, daB der Ellipsenscan durch Er- 
mittlung der AuBenrander der Pupille zur Justierung 
und Zenttierung des Scannersystems ohne weitere ex- 
teme Sensoren verwendet wird, 

3. Bildverbesserungssystem nach Anspruch 1, da- 65 
durch gekennzeichnet, daB das aufgenommene Bild 
mit dem zurtickprojizierten Bild zeitlich und Hrtlich 
synchronisiert wird. 



4. Bildverbesserungssystem nach Anspruch 2, da- 
durch gekennzeichnet, daB die Scandauer dynamisch 
an die Anforderung von Auflosung, ErfaBzeitbedarf 
und BeUchtungszeit angepaBt wird. 

5. Bildverbesserungssystem nach Anspruch 4, da- 
durch gekennzeichnet, daB die GroBe des Abtastflek- 
kens dynamisch entsprechend der Anforderung der 
Umgebungsbedingungen angepaBt wird. 

6. Bildverbesserungssystem nach einem der Ansprii- 
che 4 oder 5, dadurch gekennzeichnet, daB der Spurab- 
stand der Scanspuren dynamisch entsprechend der An- 
forderung der Umgebungsbedingungen angepaBt wird. 

7. Bildverbesserungssystem nach Anspriichen 1 bis 6, 
dadurch gekennzeichnet, daS die GroBe des abgetaste- 
ten Bereichs entsprechend der Anfbrderungen des An- 
wendungsfallos angepaBt wird, 

8. Bildverbesserungssystem nach Anspruch 1, da- 
durch gekennzeichnet, daB das aufgenommene Bild 
durch ein nachgeschaltetes Bildverarbeitungssystem 
aufgeheUt wird und dann zuriickprojiziert wird. 

9. Bildverbesserungssystem nach Anspruch 1 und 8, 
dadurch gekennzeichnet, daB das aufgenommene Bild 
durch eine Projektion des Bildes bei einer anderen Wel- 
lenlange als es aufgenommen wurde und dadurch in ei- 
nen anderen LichtwellenlSngenbereich transformiert 

10. Bildverbesserungssystem nach Anspruch 1 und 9, 
dadurch gekennzeichnet, daB der Wellenbereich des 
aufgenommenen Bildes auBerhalb des Wahrnehmungs- 
bereiches des Auges ausgewertet wird und in den sicht- 
baren Bereich transformiert wird. 

11. Bildverbesserungssystem nach Anspruch 1 und 8, 
dadurch gekennzeichnet, daB das aufgenommene Bild 
so stark aufgeheUt wird, daB die urspriinglich vom 
Auge erkennbare Schwarz-WeiB (Stabchensehen)-In- 
formation in eine Farbinformation transformiert wird 
(Zapfchensehen). 

12. Bildverbesserungssystem nach Anspruch 1, da- 
durch gekennzeichnet, daB das aufgenommene Biki 
durch Berechnen und Modulieren der Projektion tiber 
einen geeigneten Algorithmus (Fouriertransformation) 
so gescharft wird, daB Sehfehler des Auges ausgegli- 
chen werden. 

13. Bildverbesserungssystem nach Anspruch 1, da- 
durch gekennzeichnet, daB fur die Justierung des Scan- 
nersystems ein extemer Sensor zur Ermittlung der Pu- 
pillonposition verwendet wird. 

14. Bildverbesserungssystem nach Anspruch 1 bis 13, 
dadurch gekennzeichnet, daB das aufgenommene Bild 
hinsichtlich des Bildinhaltes ausgewertet wird um ex- 
teme Reafctionen und Steuerfunktionen zu aktivieren. 

15. Bildverbesserungssystem nach Anspruch 14, da- 
durch gekennzeichnet, daB die Bildinhalte beider Au- 
gen verglichen werden. 

16. Bildverbesserungssystem nach Ansprach 14, da- 
durch gekennzeichnet, daB die Position der PupiUen 
beider Augen verglichen wird. 

17. Bildverbesserungssystem nach Anspruch 15, da- 
durch gekennzeichnet, dafi der Bildinhalt der Forea 
Centralis beider Augen verglichen wird, 

18. Bildverbesserungssystem nach Anspruch 16 und 
17, dadurch gekennzeichnet, daB die Position der Pu- 
pillen und Bildinhalte der Forea Centralis beider Au- 
gen zur Ermittlung der Sehachse verwendet werden fUr 
Triangolation (Entfernungsbestimmung) , 

19. Bildverbesserungssystem nach Anspruch 1 bis 18, 
dadurch gekennzeichnet, daB die Bildinfomiation des 
Auges verwendet wird um die absolute Helligkeit der 
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Umgebung zu ermitteln. 

20. Bildverbesserungssystem nach Anspruch 19, da- 
duroh gekennzeiohnet, daB die Bildinformation des 
Auges verwendet wird urn die absolute Farbtemperatur 
des Liohtes zu ermitteln. 5 

21. Bildverbesserungssystem nach Anspruch 1 und 2, 
dadurch gekennzeichnet, daB das System zur Ermitt- 
lung der PupillengroBe verwendet wird. 

22. Bildverbesserungssystem nach Anspruch 8, da- 
durch gekennzeichnet, daB das aufgenommene Blld 10 
durch ein nachgeschaltetes Dildyerarbeitungssystems 

so aufgeheUt wird, daB die physiclogische Scheinemp- 
findlichkeit in einen anderen weniger empfindliohen 
Bereich vorschohen wird. 

23. Bildverbesserungssystem nach Anspruch 1, da- 15 
durch gekennzeichnet, dal3 der Bllipsenscan von auBen 
nach innen lauft, 

24. Bildverbesserungssystem nach Anspruch 1, da- 
durch gekennzeiohnet, daB der Bllipsenscan von innen 
nach auBen lauft. 20 

25. Bildverbesserungssystem nach Anspruch 1, da- 
durch gekennzeiohnet, daB der ElUpsenscan durch Zu- 
sammenfallen der beiden Brennpunkte zu einem Kreis- 
scan verSndert wird. 

25 
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